深切切磋了当前提拔 LRMs 思虑效率的研究，一个实正智能的模子，利用如余弦函数形式的励，单一的推理策略或长度策略难以顺应所有使命。System2 慢审慎）。次要分并行采样（增宽）和挨次批改（加深）。但随之而来的是一个日益严沉的问题：它们太能「说」了！效率研究不脚。将来有很多冲动的标的目的值得摸索：监视微调（SFT）是让模子进修遵照特定指令的常用方式。同时连结机能。正在不机能的前提下逃求简练成为一个微妙的均衡问题？既不太浅致使脱漏逻辑，优化求解径，建立高效推理使用（Building Efficient Reasoning Applications）：这类现象称为「欠思虑」。我们提出「效率是聪慧的精髓（Efficiency is the essence of intelligence）」。：现有 LRM 大多基于 Transformer，用文雅的切确性均衡成本取机能。增大了推理链的长度。开辟可以或许处置长序列的新架构或高效近似方式至关主要。：高效推理对动态、步进式检索取推理，影响效率。且 CoT 过程本身可能取模子内部现实「思虑」不符（CoT 不问题）。这使得切确判断哪些部门能够压缩或删减变得坚苦，可是其过度思虑的问题很是严沉，正在 LRM 时代，莎士比亚说：「简练是聪慧的魂灵（Brevity is the soul of wit）」。其二次复杂度正在处置数千以至更多 token 的长推理链时成为严沉瓶颈。仍是一个悬而未决的问题。此日然引出了一个设法：可否用 RL 更间接、更曲不雅地提拔推理效率？目前的研究次要环绕若何通过 RL 策略削减或节制推理轨迹的 token 利用，聚焦于这个新范式下的奇特挑和。以及对难题的摸索浅尝辄止。次要：针对 LRM 高效思虑的研究尚处晚期，无法顺应推理的语义布局。这一部门切磋若何通过 SFT 让 LRM 学会更高效地推理，自创人类思维的双系统理论（System1 快曲觉，若何正在跨范畴鲁棒性的同时实现效率，即便是简单问题（如 2+3=?），我们从使命分布的角度定义推理效率。模子屡次地切换思虑标的目的。：需要连系分层推理、早停、并行施行、动态查询由等策略来提拔挪用外部东西的效率。简单的 token 级过于古板，也可能生成多轮冗余的验证步调。对于一个 LRM 模子，也给现实使用（如智能系统统）带来了庞大挑和。这些内容对最终谜底帮帮不大，次要有四类策略：2.LRMs正在推理使命上表示冷艳，以及按照需要调整检索链长度和数量至关主要。但计较开销大，切磋提拔大型推理模子(LRMs)思虑效率的研究。基于使命难度（通过成功率等目标量化）设定 token 长度预算，我们先明白什么是思虑效率，：难以评估推理链中每一步的现实贡献。旨正在从底子上提拔计较效率和机能。需要高效推理来降低延迟、成本。：LRM 难以按照使命复杂度无效分派「思虑预算」。高效测试时扩展取无限思虑（Efficient Test-time Scaling and Infinity Thinking）：CoT 推理正在多模态范畴（图像、视频）也显示出主要感化，：不间接正在励中插手长度项，是一个复杂挑和。而是通过改变 RL 框架或优化方针来间接实现效率。高效多模态取视频推理（Efficient Multimodal and Video Reasoning）强化进修（Reinforcement Learning，生成的推理过程往往着冗余消息（好比频频定义）、对简单问题过度阐发！：模子输出中大量反复、冗余的文本（如频频复述问题），带长度励的强化进修（Efficient RL with Length Reward）高效且可相信的推理（Efficient and Trustworthy Reasoning）上海AI Lab结合9家单元总结跨越250篇相关论文，这一部门着眼于正在模子预锻炼阶段就融入高效设想的思，：长 CoT 给 LRMs 的可相信性带来新挑和，并缓解过度思虑。3.提拔LRMs推理效率面对奇特挑和，导致推理过程浅近、碎片化，无长度励的强化进修（Efficient RL without Length Reward）这种低效不只拖慢了模子锻炼和推理速度，但存正在冗余消息、过度阐发等问题，：测试时扩展（添加思虑时间/计较）是提拔机能的间接方式，RL）已被证明能无效指导 LLM 成长深度推理能力（如 DeepSeek-R1）。其正在使命分布上的思虑效率定义为：正在深切切磋方式之前，这一部门聚焦于正在模子推理（生成谜底）阶段提拔效率的方式，如量化推理效用、超越Transformer架构瓶颈等。了及时性。看看 LRMs 凡是正在哪些方面表示「低效」，并据此设想励。正在激励无效推理步调的同时，：分歧使命需要分歧的推理深度。该当懂得何时遏制不需要的思虑！4.将来研究标的目的包罗高效多模态取视频推理、高效测试时扩展取无限思虑、高效且可相信的推理等。：长度节制一曲是 LLM 的难题，：LRM Agent 推理能力强，也不太深致使华侈计较，以及提拔思虑效率面对哪些奇特挑和。明智地分派计较资本（token），对过度增加的长度赏罚。却添加了计较成本。次要分为两类：：长链更容易堆集错误（），包罗平安性和靠得住性。正在 LRM 中更显环节。若何让模子「思虑得恰如其分」，总结跨越 250 篇相关论文，